Incorporating context and geometry in kernel design for support vector machines Contexte et géométrie pour la conception des noyaux

Kernels are functions designed in order to capture resemblance between data and they are used in a wide range of machine learning techniques including support vector networks (SVMs). In their standard version, commonly used kernels such as the Gaussian, show reasonably good performance in many classification and recognition tasks in computer vision, bio-informatics and text processing. In the particular task of object recognition, the main deficiency of standard kernels, such as the convolution one, resides in the lack in capturing the right geometric structure of objects while also being invariant. This paper introduces a novel framework for designing a new class of kernels, referred to as Context-Dependent (CDK), with the particularity of (i) incorporating the geometric structure and the spatial relationships between image primitives (such as interest points, regions, etc.) while (ii) handling invariance and satisfying the positive definiteness which is necessary in all kernel methods including SVMs. Beside these properties, the outperformance of CDKs with respect to standard context-free kernels, is shown for pattern classification problems on standard databases. Résumé Les noyaux sont des fonctions qui modélisent la ressemblance entre les données et sont utilisés dans plusieurs techniques d’apprentissage telles que les machines à vecteurs de supports (SVMs). Dans leur version standard, les noyaux les plus utilisés fournissent de bonnes performances dans plusieurs taches en classification et reconnaissance, en vision par ordinateurs, en bio-informatique, etc. En reconnaissance d’objet, en particulier, les noyaux classiques ne caractérisent pas suffisamment bien les structures géométriques des objets et c ©2009 Hichem Sahbi, Jean-Yves Audibert and Renaud Keriven. Hichem Sahbi, Jean-Yves Audibert and Renaud Keriven manquent aussi d’invariance. Dans ce rapport, on introduit une nouvelle classe de noyaux dite dépendente du contexte (notée “CDK”) avec la particularité (i) d’inclure la structure géométrique et les relations spatiales entre les primitives des images (points d’intérêts, régions, etc.) (ii) d’être invariante aux transformations géometriques et (iii) de satisfaire la condition de Mercer. Outre les propriétés théoriques du noyau “CDK”, ses performances sont meilleures par rapport aux noyaux classiques et “indépendants du contexte”.